[レポート]【初級】AWS を支えるグローバルネットワーク #AWSSummit

AWS Summit Tokyo 2019。Day1 で開催された「【初級】AWS を支えるグローバルネットワーク」についてレポートします。

セッション情報

スピーカー：岡本 京氏 （アマゾン ウェブ サービス ジャパン株式会社）

セッション名：【初級】AWS を支えるグローバルネットワーク

AWS のスケーラブルで可用性の高いサービスは、それを支えるインフラストラクチャによって実現しております。普段お使い頂く中では AWS の物理的な側面を意識する機会は少ないかもしれませんが、ご理解頂くことでより安心感を持って効率的に活用頂くことができます。本セッションでは AWS グローバルインフラの構成や進化について改めて説明し、サービスの中でどのように活用されているのかをご紹介します。

本セッションの狙い

• 物理的な実態を知ることにより安心して使える
• 物理的な実態を知ることにより適材適所を判断しやすくなる
• AWグローバルインフラの構成や進化について理解を深める

アジェンダ

• リージョン内のネットワーク
  • 物理 / アンダーレイ
  • 仮想 / オーバーレイ
• リージョン間のネットワーク
• まとめ

リージョン内のネットワーク 物理 / アンダーレイ

• アベイラビリティゾーン （AZ）
  • 1つ以上のデータセンターで構成される、互いに独立したインフラ
    • 自然災害、電源、ネットワーク
  • 1つのAZで8つのデータセンター建屋があるものもある
  • AZが違えばDR構成が取れることを狙いとしている
  • 数十万台規模のサーバを収容
  • データセンター間は冗長化された独立したメトロファイバーで接続
• リージョン
  • 複数のAZ + 複数のトランジットセンターで構成されるインフラ
  • AZ感のレイテンシーは通常1ms、最大2ms
    • レイテンシーとのトレードオフでAZ間の距離を決めている
• コスト削減の追求例
  • 集約率の高い光ファイバーを開発している(3456ストランドの光ファイバー)
  • 新しい光ファイバーの導入も進んでいる。２倍の効率(6912ストランドの光ファイバー)
• Everything fails all the time.
  • いつ壊れてもいいような構成をとること
  • デザインフェイラーと同じ考えが内部にも適用されている
• 障害事例
  • リージョン内光ファイバーがショベルカーによって切断されてしまった
    • 13パケットのドロップで済んだ
  • ブラジルでゴミ捨て場の火災で光ファイバーが切断された
    • お客様よりインパクトの申告なし。原則が適用されていたことの証明
• リージョン内ネットワークの可用性
  • ダークファイバー
    • 冗長化で休眠しているものがある。障害があってもカバーできる
  • 自社による運用
    • 光ファイバーの経路を定常的に点検
  • 位置のトラッキング
    • 地理空間座標を用いた配置の分析
    • 冗長化した光ファイバーの経路の把握、物理的に隣接していないか把握している
  • キャパシティ拡張
    • 光波長多重化を活用して収容度を高めている
  • 2018年のダウンタイムは他のクラウドと比べて10分の1未満

リージョン内のネットワーク 仮想/オーバーレイ

• EC2インスタンスのネットワークキングの歩み
  • C1 1Gbps
  • C5n 100Gbps
  • 仮想化の仕組みを進化させることで性能アップしてきた
• 進化を支える AWS Nitro System
  • Nitro ハイパーバイザー
    • KVMをカスタマイズしている
    • 仮想に必要な機能を分離し、ハードウェアへオフロードすることでコストやパフォーマンスを最適化している
    • C4からC5への移行で単価を安くできているのは仮想技術の進化の影響
  • Nitoro ハードウェア
    • 現在は第4世代
      • NVMeのストレージ
      • 100Gbpsのネットワーク
• Amazon VPC
  • クラウドスケールを実現するためにAWSが独自に開発した分散型仮想ネットワーク
    • ベンダ依存にならないようにした
    • VLANの制限があったので独自開発
  • マッピングサービス Webサービス
  • 支えているのは独自開発のハードウェア
  • VPCの継続的な進化
    • 複数のVPCを効率的につないていく機能
    • コンテナにも仮想ネットワークを提供している
• AWS Hyerplane
  • AWS内部で使用されるロードバランシグサービス
  • 当初はアプライアンスを使ったバランシングしていたが、リソース効率、機能拡張が難しかったので自社で開発した。
  • ノードは普通のサーバを使用している
  • 使い所は膨大なTCPセッションを管理するところで使われている
  • AWS Hyperplane を活用したサービスの拡がり
    • PrivateLink
    • Transit Gateway
• 好きなネットワーク環境を作りましょう
  • VPCの中にもたくさんの機能がある
  • オンプレミスでの厳しい要件もAWSでお試しください

 

リージョン間のネットワーク

• エッジロケーション
  • 主に下記の機能を提供するインフラ
    • CloudFront
    • Route53
    • AWS WAF、AWS Shield

• ダイレクトコネクトロケーション
  • 日本には3箇所
• Amazon Global Network
  • 冗長化された100GbEネットワーク
  • 中国を除く全てのリージョン間にプライベートキャッシュを提供
• バックボーンネットワークを持つ理由
  • セキュリティ
    • 大部分のトラフィックを自社インフラ内で収容
  • 可用性
    • 自社でスケーリング、冗長性をコントロール
  • パフォーマンス
    • 安定的にパフォーマンスを提供できる
    • ユーザトラフィックのパスを最適化している
  • お客様からより近い接続ポイント
    • インターネットのホットスポットや狭帯域接続を回避
  • 全てのリージョン間トラフィックはAmazonのバックボーンを通過する (中国を除く)
• さらなる可用性とパフォーマンスのために
  • 海底ケーブルも敷設している
    • HAWAIKI：アメリカ西海岸からオーストラリア
    • BAY TO BAY EXPRESS：アメリカ西海岸から香港経由でシンガポール
    • JUPITER：アメリカから日本へのケーブル
• Inter-Region VPC Peering
  • リージョンを跨いだプライベートネットワークの構成ができる
• DirectConnect Gateway
  • 最寄りのロケーションへの接続だけでグローバル接続を実現
• AWS Global Accelerator
  • コンシューマ向け
  • 単一のIPでリージョン冗長も実現
  • 車、モバイル、IOTで使える
• CloudFront
  • コンテンツキャッシュと高速伝送によりコンシューマアプリのUX向上
• AWS Shield / WAF
  • オンデマンドで使用できるDDoS保護とWAF
  • 今までに考えられなかった大規模な攻撃からサービスを守る
• 民主化したグローバルネットワークをの活用
  • リードタイムが必要なくオンデマンで使用できるようになった
  • 国際回線を活用して、システムを構築できるようになった
• AWSのグローバルネットワークが確認できるサイト
  • https://infrastructure.aws/

感想

普段あまり意識しない物理的な部分のお話が聞けて刺激になりました！